课前阅读 | 语料库4.0：什么是多模态语料库？

本文改编自发表于2015年第3期《解放军外国语学院学报》上的《语料库4.0：多模态语料库建设及其应用》。

作者简介：黄立鹤，男，同济大学外国语学院讲师，博士研究生，德国洪堡学者。目前主要从事多模态、语用学及外语教育研究，在境内外发表论文三十余篇，主持或参与各类课题多项，参编教材一部。联系电邮：[e-mail]，欢迎来函交流。

一、什么是多模态语料库？
如果将研究者在“前电子时代”经手工采集的语料集合称为“语料库1.0”的话，那么通过早期计算机电子化“解放”研究者手工语料采集等劳作，初步经过计算机处理而构建的语料库当属“语料库2.0”；随着计算机处理能力的提升，研究者能够依靠其进行大规模数据采集与加工，形成了计算机化的大型语料库，语料性质也从文本扩展到了音频等，称为“语料库3.0”。

人类与外界的交互是多模态的，随着计算机及多媒体技术的发展，人们捕捉多模态互动过程的能力增强，多模态语料库应运而生，成为“语料库4.0”（Knight 2009：16-28）。多模态语料库①是指音频、视频和文字语料等多种信息集成，研究者可以通过多模态方式加工、检索和统计进行相关研究的语料库。其中，“多模态”的含义包括用户调用多模态进行语料处理（如视觉、听觉等），以及检索方式是多模态（如触觉、视觉、听觉等）的（顾曰国 2013：3）。

二、如何建设多模态语料库？
多模态语料库可以包含各种性质的语料，包括影视剧、新闻播报、现场访谈等。建设多模态语料库首先要使用多媒体介质承载说话人言语活动的多模态内容。但需要注意的是，到目前为止，没有任何一种技术能够实现多模态充盈信息的完全复现。一般的研究可以使用摄像及录音设备，它们可以客观地、连续地记录包括声音、动作、空间、场景等一系列信息。

不同多模态语料库对语料的采集和存储、加工等技术标准可根据实际的研究需要自行制定，一些关于多模态语料采集、加工等技术、标准等共性问题可参考Wittenburg（2008：664-684）。一般而言，视频和音频的采录工具分别是采样率较高的数码录像机和数码录音笔；不同的语料来源和研究目的要求研究者采录语料时选取不同的拍摄角度；由于多模态分析与话语产生的环境、说话人等背景信息具有相关性，且需要考虑语料的取样和代表性问题，因此还要注意语料采集记录。

多模态语料承载的信息比单模态语料（如语音语料库或文字语料库）丰富得多，研究者一般根据研究的实际需要有选择地转写（Cook 1990），而不是面面俱到地转写。转写形式与方法直接与研究者的理论假设和研究对象密切相关，不同研究目的和性质决定了如何转写、转写多少信息。

利用现代影像技术采集的多模态互动（信息源）包含了许多信息，这些信息的用途是多种多样的。在研究者形成研究问题、建立假设之后，需要对这些信息进行“有的放矢”的挖掘、建构。一般而言，研究者不可能也没有必要把多模态语料承载的所有信息都转化为供研究使用的数据，而是应当根据研究对象和研究需要，设计合理、充分的数据挖掘方案（即标注方案），在标注软件上建立不同的标注层，从不同的视角和方面对语料进行标注。

语料库建设的最后一步是考虑如何呈现标注的信息。目前，多模态语料库的呈现方式目前并没有统一标准或大规模采用的样式。对于只是转写而未标注的生语料而言，可以将音频、视频与转写的语料按照一定的时间长度（如3至5分钟）进行同步，研究者可以在转写文本中检索所需内容；对于已经标注的熟语料，可以通过标注软件（如ANVIL、Elan、MacVisSTA、DRS、Exmeralda等）对转写内容、音频和视频进行同步呈现。此时，语料库既包含原始语料文本，也包括经过多模态语料标注软件加工后形成的文件。研究者可以将每个标注的文件按照某种分类对标注后的多模态语料进行分类储存，文件名则按照研究需要、以方便检索为原则进行命名。这样，就形成了一个专门用于某个研究目的小型多模态语料库。

另外，研究者还应当验证多模态语料标注的信度（reliability）、效度（validity）以及一致性（consistency）。在大规模标注完成并建立语料库后，研究者使用语料库数据集成功能，把多种模态的各个范畴集成展现在一个视窗界面和操作平台上，便于对模态之间的互动进行观察和分析（Gu 2006）。

三、多模态语料库可以干什么？
运用多模态语料对语言现象进行研究，进而提出的语言学理论，就是多模态语料库语言学，其上位范畴是语料库语言学。多模态语料库对于人们更为全面和准确地解读语言使用意义具有参考价值，多模态语料库语言学的理论方法可以运用到语言学的诸多研究领域，包括语用学、话语分析、社会语言学、语言发展研究、特殊人群语言研究等。

多模态语料库可以为课堂教学、教师发展等教学研究课题提供蕴含丰富信息的例证、视角和方法，对于构建学生的英语口语多模态语料库、外语课堂教学语料库并开展相应研究也具有重要意义。多模态语料库能够作为教师反思教学、提升能力的数据基础，也能反映学生语言学习过程中语言使用的多个维度，具有很大的研究价值。

此外，多模态语料库还可以运用于人文社科等领域的研究，如戏剧表演、社会心理、政治行为、商业行为研究等等。目前，国外已有运用大数据及相应分析技术相关的社会学研究，称为e-Social Science，旨在通过大规模数据分析考察人们的交互模式和社会行为。多模态语料库蕴含的丰富数据，在有效合理的分析技术协助下，有助于深入开展人们行为方式的研究。

四、结语
虽然多模态语料库近年来方兴未艾，但在建设过程中还尚存诸多问题，包括：多数多模态语料标注工具尚未实现全方位的、真正的数据集成功能；多模态语料库的标注实践尚需拓展和深入，广为接受的标注方案较少；多模态语料库加工工作量和难度较大，在规模上往往受到限制，如何提升加工效率、充分发掘有效数据尚需研究。

但无论如何，基于多模态语料库的语言研究蕴含着丰富的方法论思想、体现了新颖的语言观，能够有力拓展语言研究视野，定能推动语言学理论产生新的发展。合理利用多模态语料库还能助力其他人文社会学科的研究，并有巨大的应用技术开发潜质。

注:

①关于“多模态”，语言学界也存在着不尽相同的认识，形成了不同学派和相应的研究。例如，在系统功能语言学范式的多模态研究中，具有图片、文字和不同布局的书面文本属于多模态文本，一定数量这样的文本也可称为“多模态语料库”。但本文所指的多模态语料库不包括这样的语料，而是指利用现代影像技术采录的话语活动。

【声明】感谢黄立鹤老师授权转载此文。其他公众账号如有转载需求，请注明该文原始出处iResearching 。